Agent JIT Compilation for Latency-Optimizing Web Agent Planning and Scheduling
面向延迟优化的 Web Agent 规划与调度的 Agent JIT 编译
🧭 Agent 规划调度优化 ★ 深度解读
Stanford University
通过 JIT 编译、不变式强制工具协议和代价优化规划/调度，将 Web Agent 延迟降低 10.4 倍且准确率提升 28%。
📌 工作参考价值（4 点）
- 工具协议的设计（pre/post conditions）：在电商自动化操作中，可以为每个动作（如添加购物车、结算）定义前置页面状态与后置预期状态，编译时即做状态流校验，大幅减少点击错误元素等失误（实验中该类错误从 59% 降至 25%）。
- 代价优化的规划策略：同时生成多个任务计划（代码形式），通过静态检查与代价模型（惩罚 LLM 调用和循环）选出最低成本计划。在电商场景可用来减少不必要的 LLM 推理，将大量纯代码操作替代昂贵模型调用。
- 自适应调度（串行/并行/对冲）：根据历史延迟分布做蒙特卡洛估计，为每个任务选择最优策略。当电商操作中某些元素交互方差大（如查找特定商品按钮）时自动采用对冲（同时多路执行取最早成功），可有效控制尾延迟。
- 缓存与工具代码复用：将成功执行 trace 合成为可缓存工具，后续任务直接调用代码而非每步推理，显著降低延迟并将 LLM 调用次数降至接近零。类似做法可直接用于重复性电商流程（如批量比价、多店铺信息抓取）。